Allow specifying what to build as part of `cargo build`

This allows selectively building one dependency within a dependency graph for
debugging its build or such.

Closes #537

Allow selectively cleaning packages

This adds a new argument to `cargo clean` which will enable selectively cleaning
particular packages. The command only cleans the package specified, no other
(not the dependencies of the package).

cc #537

auto merge of #647 : dotdash/cargo/entry, r=alexcrichton

Use the new Entry API for HashMaps

auto merge of #645 : bkoropoff/cargo/fix-infinite-recursion, r=alexcrichton

Insert necessary explicit derefs.

Fix infinite recursion in CargoError impl for Box<CargoError>

Insert necessary explicit derefs.

auto merge of #624 : alexcrichton/cargo/issue-484, r=wycats

This commit adds a flag, --precise, to cargo update. This flag is used to update
a dependency to precisely an exact revision (or branch) as part of an update
step. For git repositories the argument is some form of reference, while
registry packages this will be a version number.

The flag --precise forces a non-aggressive update and will fail if the
--aggresive flag is specified.

Closes #484

r? @wycats

Allow updating to a precise revision

This commit adds a flag, --precise, to cargo update. This flag is used to update
a dependency to precisely an exact revision (or branch) as part of an update
step. For git repositories the argument is some form of reference, while
registry packages this will be a version number.

The flag --precise forces a non-aggressive update and will fail if the
--aggresive flag is specified.

Closes #484

auto merge of #625 : alexcrichton/cargo/no-more-deprecated, r=brson

This flag has been deprecated in favor of `cargo update` for quite some time
now.

r? @brson

auto merge of #635 : alexcrichton/cargo/update, r=alexcrichton

Also stop denying all warnings and only deny some common warnings. Allow
warnings such as deprecation.

Closes #634

Update to rust master

Also stop denying all warnings and only deny some common warnings. Allow
warnings such as deprecation.

Closes #634

Remove the deprecated -u flag

This flag has been deprecated in favor of `cargo update` for quite some time
now.

auto merge of #617 : alexcrichton/cargo/issue-597, r=brson

Ensure that the dynamic linker search path contains the location of the output
directories for these dependencies when compiling with plugins.

Closes #597

auto merge of #632 : EduardoBautista/cargo/fix-width-in-safari, r=alexcrichton

Text is not responsive under 629px in Safari.

auto merge of #627 : dotdash/cargo/rustup, r=alexcrichton

Fit text within window in Safari when under 629px in width

Fix building with current rustc

auto merge of #509 : alexcrichton/cargo/features, r=wycats

This feature was outlined in #385 [1], and documentation has been included as
part of this commit.

[1]: https://github.com/rust-lang/cargo/issues/385#issuecomment-53917539

Closes #385

Implement `features`

This feature was outlined in #385 [1], and documentation has been included as
part of this commit.

[1]: https://github.com/rust-lang/cargo/issues/385#issuecomment-53917539

auto merge of #618 : alexcrichton/cargo/issue-593, r=wycats

This gives cargo a way to uniquely reference a package within a dependency graph. This is currently only used for `cargo update` and `cargo pkgid`, but this will extend in the future to possible configuration keys in the manifest, other commands like `clean`, etc.

Closes #593

Add some HTML docs for pkgid specs

Add a pkgid id command and update docopt docs

Hook up `cargo update` to pkgids

Implement a package id specification format

auto merge of #614 : alexcrichton/cargo/issue-613, r=brson

As described in #613, this commit switches the semantics of `cargo update foo`
to updating *only* `foo`, not any of its dependencies. A new flag,
`--aggressive` was added to restore the old behavior.

The behavior of attempting to only unlock `foo`, and then if resolve fails
unlock all dependencies of `foo` is unimplemented as it's not super relevant
right now when the majority of dependencies are git dependencies and resolution
cannot fail for version-related reasons.

Closes #613

auto merge of #622 : steveklabnik/cargo/update_semver, r=alexcrichton

This closes the loop on my work of getting semver related stuff out of cargo.

This is also built on top of my other PR, so it's not really ready until that actually merges. But it can stand for review now :)

auto merge of #623 : alexcrichton/cargo/update_to_head, r=alexcrichton

Don't use a bundled gcc on windows

Remove version_req.rs in favor of SemVer.

This removes all of the stuff that was in Cargo but should have been in
SemVer, as far as I know.  :confetti-ball:

move to new interface

update semver to 0.1.0

update to HEAD

auto merge of #616 : iliekturtles/cargo/patch-2, r=alexcrichton

Closes #615.

Current links are 404. Updated to the i686-w64 nightlies.

Allow plugins to have native dylib dependencies

Ensure that the dynamic linker search path contains the location of the output
directories for these dependencies when compiling with plugins.

Closes #597

Fix Rust and Cargo nightly Windows links.

Closes #615.

auto merge of #605 : brson/cargo/https, r=alexcrichton

Make `cargo update` more conservative.

As described in #613, this commit switches the semantics of `cargo update foo`
to updating *only* `foo`, not any of its dependencies. A new flag,
`--aggressive` was added to restore the old behavior.

The behavior of attempting to only unlock `foo`, and then if resolve fails
unlock all dependencies of `foo` is unimplemented as it's not super relevant
right now when the majority of dependencies are git dependencies and resolution
cannot fail for version-related reasons.

Closes #613

auto merge of #612 : alexcrichton/cargo/nocapture, r=wycats

There are some competing concerns when it comes to the output of compiling
dependencies:

* Not capturing anything leads to getting drowned in unrelated output
* Capturing requires coloration be compromised because of the way windows
  terminal colors are implemented.
* Path dependencies are often developed in tandem with the rest of a package,
  and capturing their output is not always desired.

To address these concerns, cargo previously captured output of dependent
compilations and then re-printed it to the screen if an error occurred. This
patch modifies the behavior to as follows:

* No output is captured. This preserves any coloration rustc provides.
* All dependencies are compiled with `-Awarnings`. This should suppress any
  extraneous output from the compiler and it is considered a bug otherwise if
  the compiler prints a warnings when `-Awarnings` is specified.
* All *path* dependencies (`path="..."`, overrides, etc) are *not* compiled with
  `-Awarnings`. The reason for this is that you are always in control of these
  packages and probably want to see warnings anyway.

Closes #490
Closes #496

Stop capturing output of all dependencies

There are some competing concerns when it comes to the output of compiling
dependencies:

* Not capturing anything leads to getting drowned in unrelated output
* Capturing requires coloration be compromised because of the way windows
  terminal colors are implemented.
* Path dependencies are often developed in tandem with the rest of a package,
  and capturing their output is not always desired.

To address these concerns, cargo previously captured output of dependent
compilations and then re-printed it to the screen if an error occurred. This
patch modifies the behavior to as follows:

* No output is captured. This preserves any coloration rustc provides.
* All dependencies are compiled with `-Awarnings`. This should suppress any
  extraneous output from the compiler and it is considered a bug otherwise if
  the compiler prints a warnings when `-Awarnings` is specified.
* All *path* dependencies (`path="..."`, overrides, etc) are *not* compiled with
  `-Awarnings`. The reason for this is that you are always in control of these
  packages and probably want to see warnings anyway.

Closes #490
Closes #496

auto merge of #611 : alexcrichton/cargo/update, r=alexcrichton

Update to rust master

auto merge of #604 : klutzy/cargo/win-make-install, r=alexcrichton

Since `Makefile` passes `--destdir="$$(DESTDIR)/"` to `install.sh`,
`make install` tries to install libraries to
`$CFG_DESTDIR$CFG_PREFIX/$CFG_LIBDIR_RELATIVE` which is usually
`//path/to/usr/$CFG_LIBDIR_RELATIVE`.

The POSIX spec [1] states that if path begins with `//` it is
implementation-defined.
Usual systems treat them as normal abaolute path, but cygwin and MSYS
does not! They use `//hostname/path` syntax for network drives.
This caused `make install` issue on Windows.

This patch removes `/` of destdir to solve the issue.

[1]: http://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap04.html#tag_04_12

auto merge of #591 : alexcrichton/cargo/snapshots, r=alexcrichton

Register new snapshots

Closes #606
Closes #607

Change downloads to HTTPS

Fix `make install` on Windows

Since `Makefile` passes `--destdir="$$(DESTDIR)/"` to `install.sh`,
`make install` tries to install libraries to
`$CFG_DESTDIR$CFG_PREFIX/$CFG_LIBDIR_RELATIVE` which is usually
`//path/to/usr/$CFG_LIBDIR_RELATIVE`.

The POSIX spec [1] states that if path begins with `//` it is
implementation-defined.
Usual systems treat them as normal abaolute path, but cygwin and MSYS
does not! They use `//hostname/path` syntax for network drives.
This caused `make install` issue on Windows.

This patch removes `/` of destdir to solve the issue.

[1]: http://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap04.html#tag_04_12

auto merge of #603 : brson/cargo/win, r=alexcrichton,alexcrichton,me

auto merge of #600 : alexcrichton/cargo/update-ssl, r=brson

This *should* help with #598, but I'd like to confirm that it's fixed with a
snapshot before marking it as fixed.

auto merge of #596 : alexcrichton/cargo/update-git2, r=brson

This brings in a commit which enables global template options by default as part
of initializing new git repositories, allowing a templates to be used as part of
`cargo new`.

Closes #498

Update windows downloads

auto merge of #599 : epdtry/cargo/profile-codegen-units, r=alexcrichton

If the profile sets `codegen-units`, the value will be passed to `rustc`'s `-C codegen-units` option.  If no value is set, then no argument will be passed, so `rustc` will use its default settings.

Update openssl-static-sys for ubuntu 10.04

This *should* help with #598, but I'd like to confirm that it's fixed with a
snapshot before marking it as fixed.

add codegen-units option to profile section

Update git2-rs

This brings in a commit which enables global template options by default as part
of initializing new git repositories, allowing a templates to be used as part of
`cargo new`.

Closes #498

auto merge of #589 : alexcrichton/cargo/fix-win64, r=alexcrichton

See comments in the makefile

Set PWD in a unix fashion for distcheck

See comments in the makefile

auto merge of #586 : alexcrichton/cargo/fix-win64, r=brson

Right now the win64 snapshot builders are failing to produce a snapshot, and
I've managed to track it down to a path length issue. Windows paths have a
maximum of 260 characters, and the characters add up pretty fast for a path
like:

    c:\bot\slave\cargo-nightly-win-64
      \build\target\x86_64-w64-mingw32
      \cargo-integration-test\home\.cargo
      \git\checkouts\meta-dep-<hash>\
      \$SHA\.git\...

The normal builders aren't failing I presume because `cargo-nightly-win-64` is
longer than `cargo-win64-64` (we must be *right up* against the limit). I've
confirmed that this shortening fixes the tests on the bots.

Shorten the cargo integration test directory name

Right now the win64 snapshot builders are failing to produce a snapshot, and
I've managed to track it down to a path length issue. Windows paths have a
maximum of 260 characters, and the characters add up pretty fast for a path
like:

    c:\bot\slave\cargo-nightly-win-64
      \build\target\x86_64-w64-mingw32
      \cargo-integration-test\home\.cargo
      \git\checkouts\meta-dep-<hash>\
      \$SHA\.git\...

The normal builders aren't failing I presume because `cargo-nightly-win-64` is
longer than `cargo-win64-64` (we must be *right up* against the limit). I've
confirmed that this shortening fixes the tests on the bots.

Fix some more deprecation warnings

auto merge of #585 : alexcrichton/cargo/update, r=alexcrichton

Update the toml dependency

Update to new iter names to fix building with current rustc

auto merge of #583 : alexcrichton/cargo/local-cargo, r=brson

Continue to tweak the win64 build process on the bots

Add an option to bootstrap from a local cargo

auto merge of #580 : alexcrichton/cargo/fix-cargo-doc, r=brson

There's no "doc-all" profile, so it needs to be canonicalized when finding the
name of the profile to pass to a build command.

auto merge of #570 : alexcrichton/cargo/fetch, r=brson

This command is used to download all dependencies of a package ahead of time to
ensure that no more network communication will be necessary as part of a build.

cc #358

Implement a `cargo fetch` command

This command is used to download all dependencies of a package ahead of time to
ensure that no more network communication will be necessary as part of a build.

cc #358

auto merge of #541 : alexcrichton/cargo/cargo-upload, r=brson

This PR implements the plumbing necessary for uploading packages to a registry, downloading packages, depending on those packages, etc. All APIs (upload/download) are tied to the current implementation of [the registry](https://github.com/alexcrichton/cargo-registry).

Most of the design-level details in this PR are in the first commit. The later commits are largely adding tests, polishing it off, and making it work on windows.

Dependency-wise, this picks up a dependency on `curl-rust`, albeit a small fork until the upstream linkage changes are merged. Linkage details can be found [here](https://github.com/carllerche/curl-rust/pull/16). I'll probably have to do some configuration of the bots to get this to work (or hopefully not!).

r? @wycats

Tweak filesystem hierarchy format

Tweak the 32-bit windows triple

Fix cargo doc with custom build commands

There's no "doc-all" profile, so it needs to be canonicalized when finding the
name of the profile to pass to a build command.

Update deps

Fix tests on windows

Use a different curl-rust for now

Waiting on fixes to be merged upstream

More and more tests (cargo upload)

Add tests exercising the registry source

Add proxy configurations

Test the output of `cargo package`

Implement Sha256 bindings

These are used to verify the downloads of packages from the registry.

Implement a registry source

# cargo upload

The cargo-upload command will take the local package and upload it to the
specified registry. The local package is uploaded as a tarball compressed with
gzip under maximum compression. Most of this is done by just delegating to
`cargo package` The host to upload to is specified, in order of priority, by a
command line `--host` flag, the `registry.host` config key, and then the default
registry. The default registry is still `example.com`

The registry itself is still a work in progress, but the general plumbing for a
command such as this would look like:

1. Ensure the local package has been compressed into an archive.
2. Fetch the relevant registry and login token from config files.
3. Ensure all dependencies for a package are listed as coming from the same
   registry.
4. Upload the archive to the registry with the login token.
5. The registry will verify the package is under 2MB (configurable).
6. The registry will upload the archive to S3, calculating a checksum in the
   process.
7. The registry will add an entry to the registry's index (a git repository).
   The entry will include the name of the package, the version uploaded, the
   checksum of the upload, and then the list of dependencies (name/version req)
8. The local `cargo upload` command will succeed.

# cargo login

Uploading requires a token from the api server, and this token follows the same
config chain for the host except that there is no fallback. To implement login,
the `cargo login` command is used. With 0 arguments, the command will request
that a site be visited for a login token, and with an argument it will set the
argument as the new login token.

The `util::config` module was modified to allow writing configuration as well as
reading it. The support is a little lacking in that comments are blown away, but
the support is there at least.

# RegistrySource

An implementation of `RegistrySource` has been created (deleting the old
`DummyRegistrySource`). This implementation only needs a URL to be constructed,
and it is assumed that the URL is running an instance of the cargo registry.

## RegistrySource::update

Currently this will unconditionally update the registry's index (a git
repository). Tuning is necessary to prevent updating the index each time (more
coming soon).

## RegistrySource::query

This is called in the resolve phase of cargo. This function is given a
dependency to query for, and the source will simply look into the index to see
if any package with the name is present. If found, the package's index file will
be loaded and parsed into a list of summaries.

The main optimization of this function is to not require the entire registry to
ever be resident in memory. Instead, only necessary packages are loaded into
memory and parsed.

## RegistrySource::download

This is also called during the resolve phase of cargo, but only when a package
has been selected to be built (actually resolved). This phase of the source will
actually download and unpack the tarball for the package.

Currently a configuration file is located in the root of a registry's index
describing the root url to download packages from.

This function is optimized for two different metrics:

1. If a tarball is downloaded, it is not downloaded again. It is assumed that
   once a tarball is successfully downloaded it will never change.
2. If the unpacking destination has a `.cargo-ok` file, it is assumed that the
   unpacking has already occurred and does not need to happen again.

With these in place, a rebuild should take almost no time at all.

## RegistrySource::get

This function is simply implemented in terms of a PathSource's `get` function by
creating a `PathSource` for all unpacked tarballs as part of the `download`
stage.

## Filesystem layout

There are a few new directories as part of the `.cargo` home folder:

* `.cargo/registry/index/$hostname-$hash` - This is the directory containing the
  actual index of the registry. `$hostname` comes from its url, and `$hash` is
  the hash of the entire url.

* `.cargo/registry/cache/$hostname-$hash/$pkg-$vers.tar.gz` - This is a
  directory used to cache the downloads of packages from the registry.

* `.cargo/registry/src/$hostname-$hash/$pkg-$vers` - This is the location of the
  unpacked packages. They will be compiled from this location.

# New Dependencies

Cargo has picked up a new dependency on the `curl-rust` package in order to send
HTTP requests to the registry as well as send HTTP requests to download
tarballs.

auto merge of #581 : alexcrichton/cargo/manpage, r=brson

Closes #578

Add a manpage

Closes #578

auto merge of #558 : alexcrichton/cargo/issue-553, r=brson

Pass profile env vars to build commands

Closes #553

Run tests with the --target flag

auto merge of #574 : rust-lang/cargo/fix-win64, r=brson

These commits fix all tests and installation utilities on win64. I've confirmed that these are a green build on the bots.

Rewrite git tests to not rely on the CLI

The CLI has started to have differences on windows than on other systems, and
instead of coding against multiple CLI versions, instead just rewrite everything
to use libgit2.

auto merge of #537 : markberger/cargo/510-hg-flag, r=alexcrichton

Allows the client to initialize a mercurial repo when creating a new cargo project with `cargo new --hg`. This would close #510.

This is my first time writing code in rust outside of a toy program so please feel free to tear it apart or suggest an alternative solution.

Tweak the install script for windows nightlies

auto merge of #576 : alexcrichton/cargo/update, r=alexcrichton

Update to rust master

Create hg repo with --hg flag on cargo new

auto merge of #575 : mbrubeck/cargo/sleep, r=alexcrichton

Travis is showing intermittent failures in `test_cargo_compile_path_deps::path_dep_build_cmd` and `test_cargo_compile_git_deps::git_dep_build_cmd` (added in #561 and #563).

I haven't managed to reproduce these failures locally, but I suspect the tests are timing-sensitive.  This tries to fix the failure by sleeping for a second between the two operations.

Try to fix intermittent test failures

Travis is showing intermittent failures in
`test_cargo_compile_path_deps::path_dep_build_cmd` and
`test_cargo_compile_git_deps::git_dep_build_cmd` (added in #561 and #563).

I haven't managed to reproduce these failures locally, but I suspect the tests
are timing-sensitive.  This tries to guarantee that the timestamps during the
two operations can't be the same.

auto merge of #563 : mbrubeck/cargo/list-files-git, r=alexcrichton

`list_files_git` assumes that the package is at the root of the git repository. This breaks when trying to list files for a package in a subdirectory of a repo, or in other cases, e.g. if the user's home directory is a git repo.

auto merge of #561 : mbrubeck/cargo/list_file_walk, r=alexcrichton

Previously this was calling `.is_file()` on a relative path.  This would fail if the path was not relative to the current working directory, for example when listing files in a path dependency.

Better fix for tests on the Mac builders

auto merge of #569 : alexcrichton/cargo/update-git2, r=brson

This fixes some breaking changes with git2-rs, fixes a bug in tarball generation
from tar-rs, and fixes warnings with flate2-rs

auto merge of #566 : alexcrichton/cargo/issue-565, r=brson

When cloning a remote repository, the default behavior of libgit2 is to only
update the local ref that's actually checked out, when we actually would prefer
to update all refs of the remote repo. This removes a call to clone() to a
init_bare() + fetch() which should update all refs accordingly

Closes #565